home *** CD-ROM | disk | FTP | other *** search
/ Amiga Format CD 42 / Amiga Format AFCD42 (Issue 126, Aug 1999).iso / -serious- / comms / other / aminetparse / aminetparse.doc < prev    next >
Text File  |  1999-05-14  |  12KB  |  271 lines
  1.                             AminetParse v1.09
  2.  
  3.                       © 1997 by Daniel J. Andrea II
  4.  
  5.  
  6. NOTE:  This software is offered as GIFTWARE.  If you like it, then you can
  7. send me something in payment of your choice (other programs, disks, computers,
  8. cars, etc.) at the address at the end of this document.  No warranty of any
  9. kind is offered with this software or implied, or for suitability of purpose.
  10. It's use is entirely at your own risk.  No fees can be charged for this
  11. software, other than the nominal fees for the cost of magnetic media and
  12. copying of the software onto that media, not to exceed the amount of US $5 for
  13. a disk containing this software.  Copies of this software must include this
  14. documentation file for redistribution through Fred Fish or other similar
  15. software collections.
  16.  
  17. Attention:  This software's Aminet status has been slightly changed.  I continue
  18. to receive offers for a 'free' Aminet CD as a contibutor.  However, the cost to
  19. me is anything but free.  It would cost nearly as much to order it from Germany
  20. as just buying it from a United States based mail order company.  This is not
  21. free.  This program, and all my other software that is on Aminet, has now been
  22. marked to not be distributed on ANY of the Aminet CDs, unless and until the
  23. status of the 'free' CD for contributors becomes truely free again (i.e. at
  24. absolutely NO cost to me).
  25.  
  26.  
  27. What is it?
  28. ===========
  29.  
  30. AminetParse is a small utility to parse Aminet RECENT or INDEX lists into
  31. Thor's file database.  This is quite a bit faster than the arexx script
  32. supplied with Thor.  I experimented quite a bit with the arexx script, but
  33. the best I could get with it was approximately 22 files added per second.
  34. AminetParse is quite fast.  On my system, it reaches speeds in excess of 
  35. 150 files added per second.  In some cases I've seen it hit peaks of over
  36. 200 files per second!
  37.  
  38. RECENT/INDEX files can be filtered with the Sortmail.excl file, just like in
  39. Sortmail.  Also, as of AminetParse 1.05, a NewFiles.txt file will be created
  40. in the proper directory just like Sortmail does.  This will only be done on
  41. RECENT listings.  AminetParse does absolutely nothing with the NewFiles.txt
  42. file when parsing INDEX listings.  AminetParse will ignore any 'Message of
  43. the day:' that may be placed at the end of a RECENT listing.  I may change
  44. this in the near future to create a message in the email conference of Thor
  45. of the info contained within the 'Message of the day:' section.
  46.  
  47. Note: NewFiles.txt will be replaced completely every time AminetParse is
  48. run with a RECENT listing.
  49.  
  50. AminetParse requires Thor 2.3+ (at least ver 4 of bbsread.library) and 
  51. AmigaOS 2.04+.
  52.  
  53.  
  54. Installation
  55. ============
  56.  
  57. Well, it's real simple.  AminetParse is a cli-only program, and can be run
  58. from anywhere.  Probably the best place would be in the bin sub-directory
  59. of Thor's main directory.  Just copy it to wherever you want to run it
  60. from.
  61.  
  62. Just copy the AddAminet.thor script to Thor:rexx, and make sure AminetParse
  63. is in Thor:bin.  Then it can be run from within Thor whenever you want to
  64. parse a RECENT or INDEX listing into the database.  With this archive is a
  65. new version of AddAminet.thor that can handle GZip compressed INDEX or
  66. RECENT listings.
  67.  
  68.  
  69. Usage
  70. =====
  71.  
  72. AminetParse is a shell-only program.  If you try to start it from the
  73. Workbench, you will most likely crash your machine.
  74.  
  75. Just type AminetParse in a shell and you'll get output like this:
  76.  
  77. AminetParse 1.09 (21-Apr-99) © 1997-1999 Daniel J. Andrea II
  78. Usage:     AminetParse <system name> <INDEX/RECENT file> EXCLUDE QUIET
  79.  where <system name> is name of system to add files to
  80.        <INDEX/RECENT file> is full path and name of INDEX/RECENT file
  81.        EXCLUDE  (optional) tells AminetParse to use the Sortmail.excl file
  82.                 from inside the BBS's data directory to exclude certain file
  83.                 areas from being added to the database.
  84.        QUIET    (optional) turns off all console output while parsing files
  85.  
  86. All you need is the name of your System in Thor, as in EMail&News (that's
  87. my BBS system name), and the full path and name of the INDEX/RECENT file.
  88. For example:
  89.  
  90.   AminetParse EMail&News SYS:temp/INDEX
  91.   
  92. will add the file INDEX from the drawer SYS:temp/ to the file database in
  93. the Thor system EMail&News.
  94.  
  95. Or add EXCLUDE:
  96.  
  97.   AminetParse EMail&News SYS:temp/INDEX EXCLUDE
  98.   
  99. will do the same as the previous example, but will use the Sortmail.excl
  100. file from inside the data directory of the BBS you enter.  If there is no
  101. Sortmail.excl file, AminetParse will continue as if the EXCLUDE option
  102. hadn't been entered along with a warning message.
  103.  
  104. If you add QUIET, it will turn off console output during parsing of the 
  105. files.  The final stats output will remain after parsing is complete.
  106.  
  107. The placement of the system name and INDEX/RECENT file name need to be
  108. in the order shown and immediately following the command name.  The EXCLUDE
  109. and QUIET options can be placed in any order after the file name.
  110.  
  111. That's it!
  112.  
  113. While AminetParse is running, you will get occasional status messages
  114. unless the QUIET option is enabled.  First it will tell you whether this
  115. is a RECENT listing, such as daily or weekly, or a full INDEX.  Then it
  116. will print out numbers periodically to show how many files have been
  117. processed.  Whenever a file area is parsed that is not in the file
  118. database, it will automatically add it and print out a message that it
  119. did so.
  120.  
  121. When it's finished, AmintParse will print out some statistics about the
  122. file parsing.
  123.  
  124. To parse listings while Thor is running, just execute the rexx script
  125. AddAminet.thor from the rexx menu.  It will check for the presence of
  126. a SortMail.excl file and prompt you if you want to filter with it.  
  127. AddAminet.thor will also prompt you to clear the file database if you are 
  128. parsing a full INDEX listing.  Oh, and you no longer need to uncompress
  129. the file for AddAminet.thor.  It now handles GZip compressed files 
  130. automatically.
  131.  
  132. AminetParse now skips any extraneous data before the first real index listing
  133. line in the file.  So if you save the message to disk from Thor, you no longer
  134. need to edit out all the header information at the start of the file.
  135. AminetParse will check each line of text, starting from the beginning of the
  136. file, and checks to see if the line starts with the '|' character.  If it
  137. does, then it will check to see if the same line also contains either of the
  138. two words 'Complete' or 'Recent'.  If the line does not contain one of those
  139. words, it will scan to the end of file until it does find it.  If no start
  140. line for the listing is found, it will exit to the shell without doing
  141. anything to the database.
  142.  
  143.  
  144. Bugs
  145. ====
  146.  
  147. There are no known bugs at this time.  If you find any, please contact me
  148. at the E-Mail address or Snail-Mail address below with bug reports.  Be
  149. sure to include information on what other software was running and what
  150. kind of system you have.  Bug fixes will be incorporated into AminetParse
  151. as soon as possible.
  152.  
  153. PLEASE, please let me know if there is a problem with the parsing of a 
  154. particular file.  The 1.09 bug fix was probably long overdue, because I
  155. simply had not heard of the problem!  If there is a problem parsing an
  156. INDEX or RECENT listing from ANYWHERE, let me know and send a copy of it
  157. to me if possible.  It's the only way I can fix the problem!  Thanks.
  158.  
  159.  
  160. History
  161. =======
  162.  
  163.    v1.00  --  Initial release.
  164.  
  165.    v1.01  --  Added filtering based on the Sortmail script's filtering.
  166.               AminetParse uses the same file format, and will read the 
  167.               file Sortmail.excl from the BBS's data directory.
  168.    
  169.    v1.02  --  Well, it did have a bug.  Found my date calculation was
  170.               off by a couple of days.  Now shows correct date.
  171.  
  172.    v1.03  --  Added Checking for valid INDEX/RECENT file.  Removed a
  173.               warning message that wasn't needed.  Should fix some
  174.               problems noted by Trevor Daley.
  175.    
  176.    v1.04  --  Changed date calculation again.  This version should work
  177.               better now.
  178.  
  179.    v1.05  --  Added NewFiles.txt creation during parsing of RECENT
  180.               listings.
  181.  
  182.    v1.06  --  Fixed the parsing of weekly RECENT listings.  Previous
  183.